Американский стартап в сфере аналитики больших данных и машинного обучения Databricks объявил о приобретении компании по управлению данными Tabular. Точная сумма сделки не раскрывается, но глава Databricks Али Годси (Ali Ghodsi) сообщил в интервью CNBC, что стоимость покупки превышает $1 млрд. Соучредители Tabular присоединятся к Databricks, где будут работать над объединением клиентских баз и сообществ Tabular и Databricks.

Компания Tabular была основана ими в 2021 году. Она предлагает продукты для управления данными, созданные на основе Apache Iceberg — проекта, которым создатели Tabular занимались в Netflix и позже передали в дар фонду Apache Software Foundation. Iceberg — открытый формат для таблиц сверхбольших данных. Databricks предлагает объектно-ориентированное озеро данных Lakehouse на базе собственного открытого формата Delta Lake.

Источник изображения: Tabular

С момента создания Delta Lake в проекте приняли участие более 500 разработчиков. Более 10 тысю компаний по всему миру используют Delta Lake для обработки в среднем более 4 Эбайт данных каждый день. Это быстрорастущий бизнес, но Iceberg-решения не менее популярны и конкурируют с решениями Databricks, отметил ресурс Blocks & Files. При этом о полной совместимости между Iceberg и Delta Lake речи не было.

Но в 2023 году компания также представила UniForm-таблицы, позволяющие работать с Delta Lake, Iceberg и Hudi. А после поглощения Databricks будет тесно сотрудничать с сообществами Delta Lake и Iceberg для разработки совместимых форматов озёр данных. В краткосрочной перспективе это будет реализовано в рамках Delta Lake UniForm, а в долгосрочной перспективе будет создан единый, открытый и общий стандарт.

АНО «Цифровая экономика», по сообщению газеты «Ведомости», предлагает сформировать в России единое доверенное хранилище данных. Предполагается, что такая платформа будет развёрнута к 2030 году, что поможет в развитии государственных сервисов и бизнес-систем.

С инициативой выступает группа экспертов, возглавляемая вице-президентом «Ростелекома» Борисом Глазковым. Говорится, что к концу текущего десятилетия «90 % обработанных данных в обезличенном или персонифицированном виде доступны государству, бизнесу и гражданам в едином доверенном источнике для развития data driven госуправления и бизнеса в РФ».

Источник изображения: pixabay.com

Под термином «data driven госуправление» подразумевается разработки и реализации государственной политики, в которой принятие решений и формулирование политических стратегий основаны на обширном сборе, анализе и использовании всевозможных данных. Получаемая из различных источников информация может быть использована для оценки текущей ситуации, выявления проблем и проработки потенциальных решений, а также для анализа воздействия политики на общество.

3 сентября 2023 года президент России Владимир Путин поручил утвердить национальный проект по формированию экономики данных на период до 2030-го. Инициатива предусматривает сбор информации, в том числе с использованием высокочувствительных датчиков на основе квантовых сенсоров. Кроме того, должна быть создана инфраструктура вычислений и хранения данных с использованием отечественных оборудования, технологий и программного обеспечения, в том числе облачных платформ, ЦОД и вычислительных мощностей.

Участники рынка говорят, что сбор и обработка огромного объёма данных технически возможны с использованием современных технологий, но требуют мощных вычислительных ресурсов. Для формирования единого хранилища потребуется принятие новых законодательных норм, гарантирующих «безопасность данных и защиту личной конфиденциальности». В целом, проект может помочь в создании отечественного ПО, поскольку разработчикам часто не хватает данных для проверки гипотез и написания более эффективных приложений.

Стартап NeuroBlade, специализирующийся на разработке решений для ускорения анализа данных, объявил о сотрудничестве с сообществом Velox компании Meta✴ Platforms с целью интеграции ускорителя SQL Processing Unit (SPU) в новый унифицированный фреймворк для работы с данными.

Как отметили в NeuroBlade, полная интеграция SPU NeuroBlade в Velox обеспечивает ускорение обработки данных более чем в 10 раз, помимо трёхкратного повышения производительности, уже достигнутого Velox за счет оптимизации ПО. Цель проекта заключается в том, чтобы дать компаниям возможность эффективно обрабатывать огромные наборы данных, говорится в пресс-релизе.

Источник изображения: NeuroBlade

Элад Сити (Elad Sity), гендиректор и соучредитель NeuroBlade, подчеркнул важность совместных усилий, которые «знаменуют эпоху, когда организации смогут умело управлять растущими объёмами данных, повышать производительность аналитики и получать значительные конкурентные преимущества».

Velox представляет собой унифицированный open source движок, который объединяет различные программные оптимизации в области обработки запросов в единую высокопроизводительную библиотеку, а в будущем и в самостоятельный фреймворк. Velox уже совместим с Presto и Apache Spark. Интеграция SPU NeuroBlade в Velox достигается за счёт новых API Velox, которые позволят произвольно переносить выполнение части запросов на ускоритель.

Как отмечается в пресс-релизе, CPU с трудом справляются с аналитическими запросами, скорость которых превышает 2–3 Гбайт/с, из-за ограничений в обработке данных и сложности запросов. SPU NeuroBlade позволяет решить эту проблему, поскольку предлагает специализированный процессор, который обеспечивает аппаратную обработку сложных запросов и работу с памятью и хранилищем, что позволяет разгрузить CPU и добиться постоянной пропускной способности при обработке больших данных и снизить задержки.

Стартап Databricks, разработчик платформы машинного обучения, анализа и обработки данных, сообщил о проведении раунда финансирования Series I: на развитие привлечено дополнительно $500 млн. Таким образом, на сегодняшний день общий объём инвестиций в эту компанию превысил $4 млрд.

Databricks предоставляет озеро данных, которое предприятия могут использовать для хранения, организации и анализа больших объемов информации. Стартап также помогает заказчикам в развёртывании собственных приложений на базе генеративного ИИ. Компания основана в 2013 году создателями Apache Spark.

Источник изображения: Gabby Jones / Bloomberg

Отмечается, что Databricks быстро наращивает выручку: по итогам II четверти текущего финансового года, которая была закрыта 31 июля, показатель преодолел знаковый рубеж в $1,5 млрд — это более чем на 50 % превосходит прошлогодний результат. В глобальном масштабе решения Databricks применяют свыше 10 тыс. организаций, включая более половину компаний из списка Fortune 500.

Раунд финансирования Series I проведён под руководством T. Rowe Price Associates. В программе также приняли участие Andreessen Horowitz, Baillie Gifford, ClearBridge Investments, Counterpoint Global (Morgan Stanley), Fidelity Management & Research Company, Franklin Templeton, GIC, Octahedron Capital, Tiger Global, Capital One Ventures, Ontario Teachers' Pension Plan и NVIDIA.

Прошлый раунд финансирования Databricks был завершён в 2021 году: тогда стартап получил $1,6 млрд, а его рыночная стоимость достигла $38 млрд. Теперь же капитализация оценивается в $43 млрд при стоимости акций на уровне $73,5.

Минцифры сообщило о скором начале реализации очередного национального проекта «Экономика данных». Как сообщает пресс-служба министерства, проект подготовят до конца текущего года. При этом реализация нового проекта будет продолжаться до 2030 года. Целью проекта станет перевод всей экономики, социальной сферы и органов власти на новый уровень. Это касается решений в области логистики, телемедицины, онлайн-образования и предоставления госуслуг.

Как сообщает «Интерфакс», речь идёт не только о консолидации уже существующих инструментов, применяемых для развития систем ИИ, квантовых технологий и цифровой экономики в целом — необходимо выстроить целостный механизм создания и внедрения новых разработок. Как уточняется, фокус следует сделать на ряде направлений:

• Сбор данных с использованием высокочувствительных датчиков, включая квантовые сенсоры. Такие технологии уже применяются как в промышленности, так и, например, в медицине и системах связи;
• Передача данных и развитие систем связи. Связь должна обеспечиваться в режиме реального времени на больших скоростях — это и отсутствие задержек при передаче информации необходимо для автоматизации транспорта и городской среды вообще;
• Хранение данных в стране должно быть эффективно организовано за счёт развития облачных платформ, ЦОД и собственных вычислительных мощностей, включая квантовые компьютеры;
• Безопасность данных должна быть обеспечена благодаря квантовым технологиям передачи данных и шифрования, способным противостоять любым угрозам, в том числе атакам с использованием квантовых компьютеров;
• Стандарты и протоколы работы с данными необходимы во всех IT-сферах, как для обеспечения безопасности, так и для того, чтобы регламентировать хранение персональных данных, в том числе с использованием квантовой криптографии;
• Наконец, внимание будет уделяться обработке и анализу данных и созданию репозиториев открытого кода, причём анализ данных необходимо проводить на основе ИИ-алгоритмов, используя отечественное программное обеспечение. Для этого потребуется развитие отечественных сервисов и платформ для совместной работы программистов со всего мира, в первую очередь из России.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Как сообщают в Минцифры, новый национальный проект в конечном счёте направлен на повышение качества жизни граждан за счёт роста качества работы властей, роста экономики и развития социальной сферы. Какие средства будут выделены на реализацию проекта и какие именно направления будут развиваться особенно активно, будет объявлено позже.